Lưu Cương là con trai trưởng của Hán Quang Vũ đế, hoàng đế khai quốc của nhà Đông Hán. Mẹ ông là Quách Thánh Thông, hoàng hậu đầu tiên của Quang Vũ Đế, nguyên là cháu gái của Chân Định vương Lưu Dương. Năm 25, vua cha Hán Quang Vũ đế ly khai Lưu Huyền tự lập làm Hoàng đế, cùng năm Quách thị sinh ra Lưu Cương. Năm 26, Hán Quang Vũ đế lập Quách thị làm hậu và phong Lưu Cương làm Thái tử.

Tuy nhiên vua cha không yêu Quách hậu mà luôn sủng ái người vợ cả là Quý nhân Âm Lệ Hoa. Năm 28, Âm quý nhân hạ sinh hoàng tử Lưu Dương, Lưu Dương từ nhỏ đã thông minh, lanh lợi nên được Quang Vũ Đế có phần yêu quý hơn thái tử Lưu Cương.

Sau đó, cậu của Quách hoàng hậu làm phản nên bị Quang Vũ Đế xử tử. Quách hậu ngày càng thất sủng. Thấy vua sủng ái Âm quý nhân thì Quách hậu ghen ghét, thường xuyên kiếm cớ gây hiềm khích khiến Quang Vũ Đế tức giận. Năm 41, Quang Vũ Đế phế truất Quách hậu và lập Âm quý nhân làm hoàng hậu, tuy nhiên ông không nỡ phế cả mẹ lẫn con nên Lưu Cương vẫn được giữ ngôi Thái tử.

Năm 43 Lưu Cương thấy mẹ bị phế, ngôi vị Thái tử cũng khó giữ bèn xin Hán Quang Vũ đế cho mình nhường lại ngôi Thái tử và chỉ xin làm phiên vương.